Distribution invariante d'une chaîne de Markov à n états

Définition  

Soit une chaîne de Markov  \((X_k)\) à  \(n\) états, de matrice de transition associée \(T\) . Une distribution de probabilité \(X\) , telle que  \(X=XT\) , est appelée distribution invariante de la chaîne de Markov. Une distribution invariante est donc un point fixe.

Remarque  

\(X=XT \Leftrightarrow X(T-I_n)=O_n\) , avec  \(I_n\)  la matrice identité de taille  \(n\)  et  \(O_n\)  la ligne de  \(n\)  coefficients tous nuls. Il s'agit d'un système linéaire (écrit en colonnes au lieu d'être écrit en lignes) de  \(n\)  équations à  \(n\)  inconnues.

Si on ajoute la condition que  \(X\)  doit être une distribution de probabilités, donc la somme de ses coefficients vaut  \(1\) , on ajoute encore une équation linéaire qui lie les  \(n\)  inconnues !

Il semble donc y avoir une équation de trop, \(n+1\)  équations pour \(n\)  inconnues, ce qui en général n'a pas de solution.

En réalité, en raison du lien entre les coefficients de la matrice de transition (somme des coefficients de chaque ligne égale à  \(1\) ), la matrice  \(T-I_n\)  n'est pas inversible ; les  \(n\)  équations de  \(X(T-I_n)=O_n\) sont redondantes, on peut en supprimer une.